package com.cskaoyan.kpi.ip;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.IOException;
import java.util.HashMap;
import java.util.HashSet;
import java.util.Map;
import java.util.Set;

/**
 * @ClassName UniqueIpMapper
 * @Description: TODO
 * @Author 远志 zhangsong@cskaoyan.onaliyun.com
 * @Date 2023/2/16 16:05
 * @Version V1.0
 **/
public class UniqueIpMapper extends Mapper<Object, Text, Text, Text> {

    private Map<String, String> ips = new HashMap<>();

    @Override
    protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        //经过etl处理之后的数据如下：利用---分割截断，取0
        //106.87.2.229---中国:重庆市:未知---2022-01-14 08:01:53---http://115.29.141.32:8085/#/mall/show/goodsList/190/all---firefox
        String line = value.toString();
        String[] parts = line.split("---");
        String ip = parts[0];
        //ip地址可以直接输出，也可以先装在set里面；cleanup的时候再输出，这样数据会少一些
        //下面这一步是获取到日期，如果任务每天都在当天执行，不处理这一步也可以
        //但是稳妥起见，加上获取日期，知道是哪一天的数据
        String date = parts[2].split(" ")[0];
        ips.put(ip, date);
    }

    @Override
    protected void cleanup(Context context) throws IOException, InterruptedException {
        Set<String> keySet = ips.keySet();
        for (String s : keySet) {
            context.write(new Text(s), new Text(ips.get(s)));
        }
    }
}
